4.4. 模型选择、欠拟合和过拟合

1. 训练误差与泛化误差

训练误差（training error）是指，模型在训练数据集上计算得到的误差。

泛化误差（generalization error）是指，模型应用在新数据（测试集）（同样从原始样本的分布中抽取的无限多数据样本时），模型误差的期望。

验证数据集：一个用来选超参数的数据集，评估模型好坏，看是否过拟合

• 例如拿出 50% 的训练数据
• 不要跟训练数据混在一起（不要拿验证数据训练模型！）
• 验证数据集的精度会虚高，不代表新的数据集上的模型能力

测试数据集：只用一次的数据集，报告模型性能

• 未来的考试（只能考一次的高考）
• Kaggle 私有排行榜数据集

2. K 折交叉验证

通常我们没有很多数据来训练，所以分给评估模型好坏的数据也很少；同时由于很多学习算法的随机性、初始值设置的随机性，需要多次验证来求平均，从而相对准确的反应模型好坏。

算法过程：

1. 将训练数据分为 K块
2. For i = 1,..., K
   * 使用第 i 块当做验证集，其余当做训练集
   * 计算误差
3. 计算 K 次误差平均值，即为验证误差
   一般来说 K = 5 或者 10，K 越大效果越好，但要训练 K 次，基于训练成本考量

3. 过拟合和欠拟合

模型复杂度对欠拟合和过拟合的影响，中间是最优

深度学习一个核心思路就是模型足够复杂，再去调整模型复杂度达到最优

2. VC 维

用来衡量模型的复杂度，定义为：对于一个分类模型，VC 维等于一个最大数据集的大小，不管数据集的 target 怎么标号，这个模型都能完美分类

线性模型最多能完美划分 3 个点，四个点就不能完美划分了，所以 VC 维 = 3

• N 维空间的感知机，VC 维为N+1
• N 维空间的多层感知机，VC 维为 $O(N\log N)$

参考文献